블로그
카테고리 이동
2022년은 내 인생에서 평생 안주거리로 써먹을 수 있는 이벤트를 만든 해였다.
Microsoft 주최의 Azure Virtual Hackathon 에서 대상을 받았던 것이다!!!
컴퓨터공학이나 산업공학 전공도 아닌데, 이런 큰 상을 받았다는 것에 감격에 겨울 수 밖에 없었다.
마이크로소프트 한국지사 는 경복궁 바로 앞에 위치해 있어서 전경이 좋았고,
내부 또한 오픈형 오피스에 자유롭게 일하는 분위기로, 상상하던 IT회사의 모습을 보여주었다.
Microsoft Azure Virtual Hachathon 대상
마이크로소프트 한국지사 대박...
아;; 어쨌던 자랑하러 글 올리는 것은 아니고;;
이번에도 어떤 방향으로 어떤 것들을 해서 수상을 할 수 있었는지를 기록으로 남겨두고자 한다.
인간은 망각의 동물인데다가, 나만 그런지 모르겠지만 공부한 기억만큼은 참 휘발성이 강하더라. ㅎㅎ
이번에는 Image Analysis 와 Text to Sound(TTS) 를 주로 사용하였고,
특히 Image의 Description (혹은 Caption) 생성 이 핵심이었다.
(Microsoft Azure Virtual Hackathon 프로젝트 깃허브 홈페이지 ↓)[GitHub - Jeiyoon/Azure-Virtual-Hackathon-2022: 🏆 First Place🏆 Azure Virtual Hackathon 2022 (Powered by Microsoft and Github)
🏆 First Place🏆 Azure Virtual Hackathon 2022 (Powered by Microsoft and Github) - GitHub - Jeiyoon/Azure-Virtual-Hackathon-2022: 🏆 First Place🏆 Azure Virtual Hackathon 2022 (Powered by Microsoft and...
github.com
](https://github.com/Jeiyoon/Azure-Virtual-Hackathon-2022)
Microsoft Azure Virtual Hackathon 2022
Microsoft Azure Virtual Hackathon
마이크로소프트 애저 버츄얼 해커톤...
우리가 가장 착각했던 것은 개발 분야의 해커톤 으로 보고 참고할만한 코드와 알고리즘을 찾으러 다녔었는데
그것이 아니었다... 마이크로소프트 애저 의 주요 서비스들을 활용해서 코드를 대체하는 방식의 해커톤이었고,
그렇기 때문에 '아이디어'와 '애저 서비스 활용도'가 더 중요한 해커톤이었다.
'아이디어'는 해커톤 의 주요 주제인 'AI for Good'을 만족시켜야 했다.
특히 최근 마이크로소프트 사는 Cloud와 AI에 진심인데다, 사회공헌 또한 그들의 특장점을 활용하는 방향으로 시도하고 있어 앞으로도 이런 유형의 해커톤이나 공모전이 지속될 것으로 보인다.
우리의 아이디어 - Image Captioning & TTS (Text to Sound)
시각장애인분들은 영상 제작이 힘들다...
Video Captioning & TTS
해커톤 에서 우리가 주목했던 문제는
"시각장애인들은 본인이 촬영한 영상의 확인이 힘들어 영상 크리에이터가 되기가 어렵다."
였다.
그리고 그 문제를
"영상에 대해 자동 캡션 생성 및 음성으로 들려줌"
으로서 시각장애인들의 영상 크리에이터 진입장벽을 낮추고자 했다.
그래서 Microsoft Azure 의 Image Captioning 과 TTS 를 사용하였고,Image와 Caption 간에 내적 연산 을 넣어 연관성을 기준으로 하여 3초에 하나씩 Caption을 선택하여 음성화 하도록 하였다. (Generation Error 방지)
제안한 서비스의 구동 원리
Microsoft Azur e에서는 많은 유용한 기능과 서비스를 제공하고 있다.
특히 Microsoft Cognitive Services 로 Vision Analysis, TTS, Translation 등이 가능하고, OCR 이나 심지어 DevOps 까지도 가능하다.
단... 2022년 그 당시에는 Microsoft Azure 는 해외에서는 많이 쓰고 있지만, 우리나라에서는 이제 시장 점유율을 올려나가는 상황인지라, 사용법에 대해 참조할 만한 부분이 적었다. 그래서 무엇보다 Azure 를 사용하는 방법에 대해 찾고 알아나가야만 했다. 내가 찾은 Azure Cognitive Services 사용방법에 대해서도 게시물로서 작성할 계획이다.
Azure TTS Code 중 일부
그래도 Microsoft Azure 공식 문서를 뒤져가며 사용법만 캐치하면
이제 코딩에 있어서 내가 할 일은 끝, Azure 가 데이터 가공과 출력까지 해주었다.
아래 영상은 동영상 하나를 Azure Cognitive Service s의 Image Captioning 과 TTS 를 적용한 결과이다.
앞으로 기록 정리할 내용들
앞으로는 주로 Microsoft Azure 의 주요 기능들에 대해서 게시물을 작성할 계획이다. 검색해보니 아직 Microsoft Azure 와 관련된 블로그 글이 많지는 않은데, 조금이나마 사용자에게 도움이 되었으면 하는 바램이다.
[1편] Microsoft Azure Open Dataset
[2편] 동영상을 캡쳐하여 이미지를 생성하기
[3편] Microsoft Azure 주요 서비스를 Python으로 활용하는 방법
[4편] Azure Cognitive Services - Image Captioning 이미지 캡션 생성
[5편] Azure Cognitive Services - TTS